500万TPM+20msTPOT，火山引擎用「AI云原生」重构大模型部署范式
500万TPM+20msTPOT，火山引擎用「AI云原生」重构大模型部署范式部署 DeepSeek 系列模型，尤其是推理模型 DeepSeek-R1，已经成为一股不可忽视的潮流。
来自主题: AI资讯
5154 点击 2025-02-26 14:22
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
部署 DeepSeek 系列模型，尤其是推理模型 DeepSeek-R1，已经成为一股不可忽视的潮流。
这一波 DeepSeek 的泼天流量，各种大小公司都在吃。为什么，一夜之间，所有产品都在宣传自家接入了 DeepSeek 呢？主要原因是 DeepSeek 官网无法满足全世界人民日益增长的 DeepSeek 使用需求。
DeepSeek 的开源周已经进行到了第三天（前两天报道见文末「相关阅读」）。今天开源的项目名叫 DeepGEMM，是一款支持密集型和专家混合（MoE）GEMM 的 FP8 GEMM 库，为 V3/R1 的训练和推理提供了支持，在 Hopper GPU 上可以达到 1350+ FP8 TFLOPS 的计算性能。
DeepSeek 开源周的第三天，带来了专为 Hopper 架构 GPU 优化的矩阵乘法库 — DeepGEMM。这一库支持标准矩阵计算和混合专家模型（MoE）计算，为 DeepSeek-V3/R1 的训练和推理提供强大支持，在 Hopper GPU 上达到 1350+FP8 TFLOPS 的高性能。
DeepSeek崛起，ChatGPT在美国高校如何稳占C位？
DeepSeek席卷校园：头部高校开AI大课。
DeepSeek 本周正在连续 5 天发布开源项目，今天是第 2 天，带来了专为混合专家模型（MoE）和专家并行（EP）打造的高效通信库 — DeepEP。就在半小时前，官方对此进行了发布，以下是由赛博禅心带来的详解。
知名 Chatbot 及各种 AI 工具箱产品 Monica 最近推出了国内版Monica.cn，基于 DeepSeek R1 与 V3模型，并且具备实时联网搜索与记忆能力。
就在刚刚，Anthropic祭出首个混合推理Claude 3.7 Sonnet，堪称扩展思考模式的最强模型。在最新编码测试中，新模型暴击o3-mini、DeepSeek R1，AI编码王者出世了。
DeepSeek 懂的都懂，从爆火那天起，官方就常年“服务器繁忙“，想问个问题，比春运抢票还难。